متا از اولین مدل‌های "ترکیب متخصصان" خود از مجموعه Llama 4 رونمایی کرد

متا از اولین دو مدل در خانواده Llama 4 خود، که اولین مدل‌هایش هستند که از فناوری ترکیب متخصصان (Mixture of Experts) استفاده می‌کنند، رونمایی کرد.

در یک پست روز شنبه، این غول رسانه‌های اجتماعی از انتشار دو مدل خبر داد:

• Llama 4 Scout، که دارای مدل پارامتر فعال 17 میلیارد با 16 متخصص است و می‌تواند روی یک GPU NVIDIA H100 قرار گیرد.
• Llama 4 Maverick، همچنین با 17 میلیارد پارامتر فعال اما با 128 متخصص.

ترکیب متخصصان (MoE) رویکردی به یادگیری ماشین است که یک کار را به چندین کار کوچکتر تقسیم می‌کند و هر کدام را به یک زیرسیستم شبکه عصبی اختصاص می‌دهد که برای حل آن نوع مشکل تنظیم شده است. هر متخصص بخش خود را از یک مسئله حل می‌کند و این کار در یک پاسخ واحد ترکیب می‌شود. DeepSeek-V3 یک مدل MoE است. Mixtral 8x7B شرکت Mistral.ai نیز همینطور است. OpenAI هنوز تأیید یا تکذیب نکرده است که از MoE استفاده می‌کند، اما اشاره کرده است که انجام این کار در برنامه‌های آینده‌اش قرار دارد، زیرا این رویکرد به طور گسترده‌ای برای تولید خروجی بهتر با منابع کمتر احساس می‌شود.

Scout و Maverick بر اساس Llama 4 Behemoth هستند که هنوز در حال آموزش است. متا می‌گوید که این مدل بر اساس 288B پارامتر فعال، 16 متخصص و تقریباً دو تریلیون پارامتر کل است.

در پست متا آمده است که فرآیند پیش‌آموزش Behemoth با استفاده از FP8 و 32K GPU انجام می‌شود که به 390 TFLOPs/GPU دست یافته است. در این پست اضافه شده است: "ترکیب کلی داده‌ها برای آموزش شامل بیش از 30 تریلیون توکن است که بیش از دو برابر ترکیب پیش‌آموزش Llama 3 است و شامل مجموعه‌های داده‌های متنی، تصویری و ویدیویی متنوع است."

• OpenAI می‌خواهد قوانین کپی‌رایت را تغییر دهد. یک مطالعه نشان می‌دهد که منتظر اجازه نیست
• عملکرد بهتر از DeepSeek-R1 در یک بسته 32B؟ El Reg چنگال‌های خود را در QwQ علی‌بابا فرو می‌کند
• قاضی می‌گوید متا باید از ادعای خود مبنی بر حذف اطلاعات کپی‌رایت از خوراک آموزشی Llama دفاع کند
• متا به مسلح کردن Llama چراغ سبز نشان می‌دهد - اما فقط برای افراد خوب

تیم هوش مصنوعی زاکربرگ همچنین ادعا کرد که "تکنیک آموزشی جدیدی را توسعه داده است که ما آن را MetaP می‌نامیم که به ما امکان می‌دهد به طور قابل اعتمادی ابرپارامترهای مهم مدل مانند نرخ‌های یادگیری در هر لایه و مقیاس‌های اولیه را تنظیم کنیم."

این امر Llama 4 را قادر می‌سازد تا "تلاش‌های تنظیم دقیق منبع باز را با پیش‌آموزش بر روی 200 زبان، از جمله بیش از 100 زبان با بیش از 1 میلیارد توکن در هر زبان، و در مجموع 10 برابر توکن‌های چندزبانه بیشتر از Llama 3، فعال کند."

در پست متا جزئیات مربوط به مجموعه داده‌های مورد استفاده برای آموزش مدل‌های Llama 4 ذکر نشده است، مسئله‌ای مهم با توجه به اینکه این شرکت متهم به استفاده از محتوای دزدی برای آموزش مدل‌های خود است.

پست اعلام مدل‌های Llama 4 شامل نتایج معیار متعددی است که بیشتر نشان می‌دهد مدل‌های متا در معیارهای بی‌شماری از رقبای خود بهتر عمل می‌کنند.

متا همچنین ادعا کرد که تمایل مدل‌های زبانی بزرگ برای ارائه نتایجی که با تفکرات سیاسی جناح چپ همسو هستند را برطرف کرده است.

در پست متا آمده است: "به خوبی شناخته شده است که همه LLMهای پیشرو در مورد تعصب مشکل داشته‌اند - به طور خاص، آنها از نظر تاریخی در مورد موضوعات سیاسی و اجتماعی مورد بحث، به سمت چپ متمایل بوده‌اند." قبل از اینکه این را به "انواع داده‌های آموزشی موجود در اینترنت" نسبت دهد.

بنابراین متا مدل‌های Llama 4 را "پاسخگوتر" کرده است تا به سؤالات پاسخ دهد، "می‌تواند به انواع دیدگاه‌های مختلف بدون قضاوت پاسخ دهد و برخی از دیدگاه‌ها را بر دیگران ترجیح ندهد."

این به این معنی است که Llama "به طور چشمگیری در مورد اینکه به کدام درخواست‌ها از پاسخ دادن امتناع می‌کند متعادل‌تر شده است" و "با سرعت قابل مقایسه با Grok [X AI] (و با نیمی از سرعت Llama 3.3) در یک مجموعه بحث‌برانگیز از موضوعات سیاسی یا اجتماعی، با گرایش سیاسی قوی پاسخ می‌دهد."

متا می‌خواهد "این نرخ را بیشتر کاهش دهد" تا LLMهای آن موضوعات سیاسی کمتری را خارج از محدوده قرار دهند.

متا همچنین ادعا کرده است که کارهای زیادی انجام داده است تا اطمینان حاصل کند که این مدل‌ها خروجی ایمن تولید می‌کنند. یکی از این ابتکارات به طور متوسط تست تهاجمی تولیدی عامل (Generative Offensive Agent Testing) (GOAT) نامیده می‌شود. ظاهراً GOAT با شبیه‌سازی تعاملات چند چرخشی عوامل متخاصم ماهر متوسط، تست قرمز LLM موجود را بهبود می‌بخشد و به ما کمک می‌کند پوشش آزمایشی خود را افزایش دهیم و آسیب‌پذیری‌ها را سریع‌تر شناسایی کنیم."

GOAT "به تیم‌های تست قرمز انسانی متخصص ما اجازه داده است تا بر روی حوزه‌های متخاصم جدیدتر تمرکز کنند، در حالی که اتوماسیون بر روی حوزه‌های خطر شناخته شده تمرکز دارد. این امر فرآیند را کارآمدتر و مؤثرتر می‌کند و ما را قادر می‌سازد تا تصویر کمی و کیفی بهتری از خطر ایجاد کنیم."

شما می‌توانید این ادعاها را با دانلود مدل‌های جدید از متا یا Hugging Face مدل-مارت آزمایش کنید.

بر اساس پست اعلام متا، آنها "در راستای تعهد ما به متن باز" برای دانلود در دسترس هستند. با این حال، ابتکار متن باز ادعا کرده است که مدل انجمن Llama 4 متن باز نیست، زیرا کاربران در اتحادیه اروپا از برخی حقوقی که به کاربران در جاهای دیگر ارائه می‌شود، محروم هستند. ®